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Die vorliegende Erf indung befcrif ft allgemein 
Gxaphiksyeteme fair Anwendungen der virtuellen Realit&t 
CVR) und in speziellen ein Verfabren und eine 
Vorricbtung zur Steuerung eines solcben VR- 
Graplxiksystems tnitteig Interakfcionen gemafi den 
oberbegriffen der jeweiligen unabbangigen Ansprucbe. 

Ein Hier betrof f enea VR-Grapbiksystem gebt bepw. a US 
der DB 101 25 075 Al bervor uzxd dient. ,ur Erzeugung und 
DarstelLung einer Vielzabl vozx raumlicben Ansicbten, 
die gameinsam' eine virtuell-raumliche • 
(dreidimensionale) Szene daratellen, Die entsprecbende 
Visualisierung einer solchen Szene erfolgt dabex 
xneistena mittels stereoskopiscner Projection auf eine 
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Leixwand oder dgl. Bereits relativ weit verbreitet sind 
sogenaimte immersive VR~Systeme, welche eine intuitive 
Menschz-Maschine- (Benutzunge-) Schnittstelle fttr die 
verscniedenen Anwendungsbereiche (Pig. 1) bilden. Die 

I genannten Graphiksystame binden den Anwender bzw. 

! Benutzer etark in die visuelle Simulation mittels eines 

\ Computersystems ein. Dieses Eintauchen ,des Benutzer s . 

J '. wird als „ Immersion" oder „ immersive Umgebung" 

j bezeichnet- 

r . * ' ^ 

Durch die maSst&bliche Darstellung dreidimensionaler 
Daten oder Objekte und die ebenfalls dreidimeneionale . 
Interaktionsfahigkeit konnen dies© Daten oder Objekte 
weitaus besser beurteilt und erlebt warden, ale es mit 
klassischen Visualisierungs- und Interaktionstechniken 
wie bspw. mit einem 2D~Monitor und einer enteprechend 
zweidimensionalen graphischen Benutzungsoberf labhe 
moglich'ist. So konneii in der Produktentwicklung viele 
physisch-reale Modelle und Prototypen durch virtuelle 
i Prototypen ersetzt werden. iihnliclies gilt fdr 

Planungsaufgaben bspw. im Architekturbereich. Auch 
Punktionsprototypen lassen sich in immersiven 
Umgebungen wesentlich realistischer evaluieren, als es 
mit den klassischen Methoden moglich ist. 
I - • 

Die Steuerung einer solchen VR-simulation erfolgt 
. rechnergestiitzt mittels geeigneter Eingabeger&te 

i (verallgemeinernd im folgenaen als „lriteraktionsger&te" 

bezeichnet, da deren Funktion uber die reine 
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Dateneingabe binaus gebt) , die neben Tastem iiber einen 
Lagesensor verftigen, mittels deesen die rSumliche 
Position und Orient ierung dee Interaktionsgerat s 
ebenfalls kontinuierldch gemeseen werden kann, um die 
Interaktionen mit den szenisch dargestellten D'atan 
, (Szenendaten) auszufiibren, Ein eolcbes 

I Interaktionsgerat sowie eine entsprecbende rauiulicbe 

I Benutzungsscbnittstelle sind bspw. in der DB 101 32 243 

1 Al offenbart. Das dort bescbriebene bandgebaltene , 

kabellose interaktionsgerat dient zur Erzeugung und 
tibermittlung. von Orts-, Lage- und/oder Bewegungsdaten 
(d.b. r&umlichen Lagekoordiiiaten dee 

Interaktionsgerat s) zur xauralicb-virtuellen Navigation 
in der genannten Szene und in etwaigen 
Funktionselementen der Benutzungsscbnittstelle sowie 
zur Manipulation von virtuellen Objekten der Szene. Das 
. . interaktionsgerat weist dazu einen Sensor auf , der mit 
einer in deoi VR-Grapbiksystem vorgesehenen ' 
Lageerfassunge sensor ik tahsr eine Funkverbindung 
zusatnmenwirkt . Die genannten Lagedaten umfassen die 
moglicben secbs Freibeitsgrade der Translation und der 
Rotation des interaktionsgerats und werden zur 
Ermittlung einer Bawegungs- oder Raumtra j ektorie des 
I Interaktionsgerats in Ecbtzeit recbnergestiitzt 

I ausgewertet. 

i 

I Benutzergeftibrte Interaktionen lassen sich grds. in 

' ' einen logiseben Teil und einen pftysiscben Teil 

j unterteilen* Der logiscbe Teil ist die virtuell- 
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r&umliche Benutzungsschnittstelle vmd beinbaltet bspw. 
die Darstellung von Funktionen Oder Mentis, die Methods 
der Selektion von Objekten oder Funktionsmodi -and die 
Art der Navigation. Der physische Teil entspricbt der 
geratetechnischen Realisierung, wie der technischen 
Gestaltung des .Interaktionsger&ts und die eingeset2te 
projektionstechnologie znr Darstellung der Szene. 

Hineichtlich der Verwendung der- genannten 
Interaktionsger&te ist es wtinschenewert, daS die 
genannten Interaktionen, insbesondere konrplexere 
Interaktionen wie die Funktibnsauewabl oder 
Menus t euerung , tecbniscb mogliabst einf ach und dennoch 
' moglichst bedienurige- und betriebssicber steuerbar 
sind. ' 



Die Erf indiang scbl&gt daber ein Verf abren und eine 
Vorrichtung zur Steuerung eines bier betrof fenen 
j * Grapbiksysteme der virtuellen Realit&t (VR) mittels der 

I genannten Interaktionen vor, bei denen der 

I ' Erf ind\angsgedanke zugrundeliegt , zunacbst ein auf der« 

Raw- bzw. Bewegungstrajektorie des Interaktionsger&ts 
angeordnetes Referenzsystem zu bilden und nacbfolgende 
Interaktionen anband dieses Ref erenzsysteius 
auszuwerten. 



Die Beso'nderbeit des erf indungsgemafcen Verf abrens liegt 
demnacb darin, da6 durch eine erate Interaktion des 
Benutzers ein zunacbet fixer initialrauntpunkt r 
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bevorzugt zusammen mit einem zugeordneten 
Referenzkoordinatensystem auf der Raumtrajektorie des 
Interaktionsger&ts f estgelegt werden und daS wenigstens 
eine naclif o,lgende Interaktion mittels des 
Interaktionsger&ts relativ zu dem f estgelegten 
Xnitialraumpunkt bzw. dem zugehorigen 
Referenzkoordinatensyetem ausgewertet wird. 

In einer weiteren Ausgestaltung ist vorgeeehen, da£ 
der initialrautnpunkt den Nullpunkt bzw« tfrsprung des 
genannten Ref erenzkoordinatensystems darstellt und in 
dieeem Koordinatensystem Referenz- bzw. Schwellwerte 
vorgegeben werden, bei deren Uberechreitxmg durch die 
tnomentane Raurnposition Oder Raumorientierung des 
Interaktionegerats eine bestimmte Funktion oder eine 
bestimmfce Iftenilauswahl der virtuellen, in die aktuelle 
! Szene eingeblendeten Beirutzungsschnittstelle erfolgt, 

| Diese Refsrenzwerte liegen bevorzugt auf der Oberf laclie 

eines bzgl. x des Initialraumpunktes symmetrisch 
(gedacht) angeordneten geometrisehen Korpers, bepw. auf 
einer Kugeloberf lactate'*, einer Ellipsoidoberf lacbe, einer 
Wttrfeloberf laclie, einer Quaderoberf lELabe, einer 
Tetraederoberf lacbe oder dgl- Die Ref erenzpunkte k6nnen 
femer in bestimmten Raumrichtungen gewichtet sein, urn 
bestimmten Funktionen oder Men\iauswah.lpunkten 
unte^schiedliche Sensitivitaten bei der raumliclien 
Interaktion entlang der realen Raumtrajektorie des 
Interaktionagerats zuzuordnen, wodurch Feblbedienungen 
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Oder Fehleingaben seitens eines Benutzers noch 
wirksamer vermieden werden. 

In einer anderen Ausgeetaltung 1st wenigstens ein 
weiterer Schwellwert vorgesehen, dessen Wert 
betragsm&Sig groSer ist als der gensgante wenigstens 
eine Ref erenzwert und bei dessen frbersckreitung durch * 
die momentane Raumposition das Interaktionsgerats 
bewirkt wird, da£ sich das Ref erenzkoordinatensy stem 
bzw. der Initialraumpunkt zu.der neuen Raumposition 
hinbewegt. Dies hat den Vorteil, dafi die genannte 
vorteilhafte Wirkungsweise dea 

Referenzkoordinatensystems bei der genairaten Funktione- 
i oder Mendauswahl auch bei (versehehtlich) zu starken. 
. Posit ionsanderungen des Interaktionsgerats bestehen 
bleibt. ' 

Die erfindungsgema£ vorgeschlagene Vorgehensweise bzw, 
die ebenfalls vorgeschlagene Benutzurigsschnittstelle 
bieten insbesondere den Vorteil, da£ aucb komplexe 
Interaktionen bspw. fiber mehrere Funktions- oder 
Menftebeneh sehr intuitiv;. mid zwar ausschliefilich durch. 
r&umliche Bewegung des Interaktionsgerats erfolgen 
konnen, kediglich die Festlegung des ersten. 
Initialraumpunktes hat durch eine besondere Xnteraktion 
! zu erfolgen, bevorzugt tnittels eines an dem . 

^ Interaktionsgerat angeordneten Steiier element es wie 

j bspw.. einen Taster oder dgl. DarQber hinaus wird die 

Steuerung der Benutzungsschnittstelle durch die 



I 
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fortwahxende Auswer.tung der genannten Trajektorie des 
lnteraktionsgerS.ts gegentiber den im Stand der Tecbnik 
bekannten interaktionseystemen in der Handhabung 
einfacher und sogar betriebssieherer , ' > • 

Die Steuerung des VR-Graphiksystems mittels des 
Interaktionsger&ts sowie einer in die jeweilige Szene 
visuell eingeblendeten Benutzungsoberfl&che erf olgt 
bevorzugt entweder tiber eine raumlich- visuell 
dargestellte Funktionsauswahl oder ein MenQsystem, wie 
das bspw. in der BE 101 32 243 Al beschriebene 
Kugelmenft, 

Die Erfindung 1st; mit den genannten, Vorteilen 
einsetgbar bei kabellosen sowie kabelgebundenen 
Xnteraktiorisgeraten, die bevorzugt von dem Benutzer 
handgef^Lhrt sind* Eb ist hervor zuheben , dafi. die 
moglichen Interaktionen, neben der genannten , Verwetidung 
des Interaktionsgerats einschliefilicb des genannten 
Steuerelementes (Tasters) , aucb durch akustiscbe oder 
optische Inter aktionen bspw, durch Sprache, Gestik oder 
dgl. erfolgen konnen, Dabei konnen die in der 
Dissertationsschrif t von A* RSJSler mit, dem Titel „Ein 
System fur die Entwicklung von r&umliahen' 
Benutzimgsscbnittstellen* der Uni vers itat Stuttgart, 
erschienen im Jost Jetter Verlag, Heimsheim 
• insbesondere auf den dortigen Seiten 72 ff. (Kap. 4-3-2 
f f . ) ausf-Qhxlicb bescbriebenen Eingabemethoden zur 
Anwendung kommen. So konnen neben der Verwendung des 



I 
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genannten interaktioneger&te zus&tzlich die dort 
beschriebenen Interaktionsmodi wie eine direkte und 
indirekte, mittelbare und unmittelbare sowie absolute 
und relative Eingabe siingesetzt werden, urn bspw. eine 
ereignisarientierte Interpretation von Beweguiigen des 
Interaktionsger&te .Oder eines Kfirperteils des Benutzers 
zu ermoglichen. 

Bei der genannten interpretation yon Gesten seitens des 
Benutzers lassen sicb zudem statische und dynamische 
Gesten unterscheiden, wobei bei dynamiechen Gesten die 
, zeitliehe Abf olge einer Bewegung und bei etatischen 
Gesteri eine relative Position oder Orientierung 
zwischen bspw, einzelnen Korperteilen des Benutzers 
analysiert wird. Pemer lassen sicb einfache 
Eingabeereignisse von interpretierten und kombinierten 
Eingabeereignissen unterscbeiden, wobei einfacbe 
Eingabeereignisse durch diskrete Aktionen des 
Benutzers, wie bspw. die Betatigung des genannten 
Tasters, ausgeldst werden, wobingegen bei 
interpretierten Ereigniseen diese dynazaiscli 

interpretiert werden, bspw, tinker Berucksicbtigung 

* 

einer Zeitmes s sung wie bspw. bei einem doppelten 
Tastendruck („Doppelkliek u ) . Diese beiden Eingabeniodi 
konnen schliefclicb beliebig kombiniert werden, bspw. 
ein Tastendruck mit einer Hand-, Kopf- oder 
Ges ichtsgeste- 
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Das erf indungsgemafce Verf ahren und die Vorrichtung 
werden nachf olgend anhand von in der Zeichnung 
dargestellten Auefuhrungsbeispielen beschrieben, aus 
denen sich weitere Merkmale und Vorteile der Erf indung 
ergeben. Hierin eind identische oder . f unktional gleiche 
Merkmale mit tibereinstimmenden Bezugszeiclien 
ref er&nziert - 

In der Zeichnung zeigen 

Pig. 1 eine vereinf achte fibers ichtsdarstellung eines 
VuV bier betrof f enen immersiven VR- (Virtual - 

Reality) Grapbiksystems ; 

Pig. 2a-c bei der physisch-raumlichen Bewegung eines in 
der Fig, 1 gezeigten Interaktionsger&ts 
typischerweise sich ergebende 
Raumtraj ektorijen zur Illustration der 
erf indungsgemafcen Vorgebensweise bei der 
Auswertung dieser Trajektorien; und 

Fig. 3 die Illustration einer erf indungsgemliSen 

Routine zur Steuerung eines hier betrof fenen 
Interaktionsgerats anhand eines 
FluSdiagramms . 

Das 'in der Fig, 1 scbematiscb dargestellte VR- - 
Grapbiksystem weist einen Pro jekt ions s chirm 100 auf, 
vor dem eine Person (Beriutzer) 105 steht, um die 
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dortige tfber einen Projektor 110 erzeugte Szene 115 
mittels einer stereoskopischen Brille ; 120 su 
betrachten. Anstelle dear stereoskopischen Brille 120 t 
konnen vorliegend selbstverst&ndlich auch auto- 
stereoskopische Bildschirme Oder dgl. zur Anwendung • 
kommen. Zudem kfinnen der Projektionsschirm 100, der 
Projektor 110 sowie die Brille 120 vorliegend durch 
einen an sich bekarmten Datenhelm ersetzt werden, • 
welcher dann alle-drei Funktionen beinhaltet . 

Der Benutzer 105 halt ein Interaktionsgerat 125 in der 
Hand, um bevorzugt absolute Lagedaten wie die raumliche 
Position und Orientierung des interaktionsgerats im 
physischen Ratim zu erzeugen und ah eine 
Lageerf assungseensorik 130 - 140 zu \ibermitteln. 
Alternativ konnen allerdings auch relative oder 
dif f erentielle Lagedaten verwendet we r den, worauf es in 
dem vorliegendeu Zus ammenhang aber nicht ankommt . 

Das Interaktionsgerat 125 umfafit ein 

Lageerkennungssystetn 145, bevorzugt eine Anordnung vorx 
optischen Messystemen 145, mittels derer sowohl die 
Absolutwerte der drei moglichen Drehwirikel als auch die 
Absolutwerte der in den tn6gliehen drei Raumrichtungen 
moglichen translatorischen Bewegungen des 
interaktionsgerats 125 erfafit und von einem 
Digitalrechner 150 in der nachf olgend beschriebenen 
Weise in Echtzeit verarbeitet werden. Alternativ k6nnen 
diese Lagedaten mittels Beschleunigungssehsoren, 
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Gyroskopen oder dgl. erf afit. werden, welche dann i.d.R. 
nur relative oder dif f erentieille Lagedaten liefem, Da 
es auf diese Sensorik vorliegend nicht ankommt, wird 
bier von einer eingehenderen Beschreibung abgeseben und 
auf die eingangs genannten Driickschrif ten verwiesen. 

Die genannten absoluten Lagedaten werden von einem mit 
dem interaktionsgerat 125 verbuadenen Rechnersystem 
erzeugt. Sie werden dazu an einen Mikroprozessor 160 
eines Digitalrechners 150 tibertragen, in dem unter 
axiderem die notwendigen als dem Fachmann geiauf ig 
anzunehmenden graphischen Auswerteproseese zur 
Erzeugung der stereogkopisch-raumlichen Szene 115 
auegefiilirt werden. Die raumlicbe Szenendarstellung 115 
dient insbesondere der Visualisierung von 
Objektmanipulationen, der r&umlichen Navigation in der 
gesamten Szene Bowie der Darstellung von 
Funk t ions aus waiil s t iruktur en und/oder Mends truktur en. 

Das interaktionsgerat 125 ist in dem vorliegenden 
Ausfiihrungsbeispiel mit dem Digitalrechner 150 mitfcels 
eines dort. angeordneten Empf angsteils 16$ -fiber eine 
Funkverbindung 170 datenleitend verbunden . Die von den 
Sensoren 145 an die Lageerf as sungs sensorik 130 --^140 
ubertragenen Lagedaten werden ebenf alls drahtlos per 
Funks treeken 1*75 - 185 iibertragen. 

ZussLtzlIch eingezeichnet sind die Kopfposition (KB) das 
Benutzers 105 sowie dessen Blickrichtung (BR) 190 auf 
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den Projektionsschirm 100 bzw. die dort projizierte 
Szene 115 . Diese. beiden Gr6fien sind insoweit fur die 
Berechnung einer aktuellen stereoekopischen Projection 
von Bedeutung, als sie die notwendige Szenenperspektive 
wesentlieh nitb-tiwn,- da Perspective in an sich . 
bekannter Weise auch von diesen beiden GroSen abbangt. 

Dae interaktionsgerat 125 umfaSt in dem vorliegenden 
Ausfuhrungsbeispiel einen Taster 195, mittels dessen 
der Benutzer 105, zusatzlich zu den genannten 
Bewegungsmoglichkeiten dee mteraktionsgerate 125 ita , 
Baum, mecnanisch eine Interaktion auslSsen kann, wie 
nacnfolgend anhand der Pig. 3 beschrieben. Bs versteht 
sich, dafi alternativ auch zwei oder mehrere Taster 
angeordnet sein konnen, um.ggf. unterschiedliche 
mteraktionen zu •ermSglichen. • 

Das zentrale Element des gezeigten imroersrven VR- 
Graphiksystems ist die mittels der * _ 

Lageerfassungssensorik 130 - 140 gefuhrte (getrackte) . 
stereoskopische Darstellung der jeweiligen 
dreidimensionalen Szenendaten 115. Die Perspektive der 
Szenendarstellung ist dabei vom Betrachter-Standpunkt 
bzw. von der Kopfposition (KP) und der Blickrichtung , 
(BR) abhangig. Die Kopfposition (KP) wird dazu uber ein 
(hier nicht dargestelltes) dreidimensionales 
Positionstnefisystem kontinuierlieh gemessen und die 
Geometrie der sichtvolumina f<ir beide Augen 
entsprechend dieser Positionswerte angepafit. Dieses 
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•Positionsmefisystetn umfiftt eine Sbnliche Sensorik wie 
das genannte Lageerf assungssystem 130 - 140 und kann 
ggf . in dieses integriert sein. Ffirjedes Auge wird ein 
separates Bild aus der jeweiligen Ferspektive 
berecbnet. Der Unterschied (Disparitat) bewirkt die ■ 
stereoskopi'scne Tief enwahxnebmung.- 

Als Interaction vorliegend seitens eines Benutzers wird 
j.ede Aktion des Benutzers bevorzugt mittels des 
geiiannten Interaktionsgerats 125 vera tauten. trmfafit 
sind dabei die Bewegung des interaktionsgerats 125 auf 
einer in- den Figuren 2a - 2c gezeigten Raumtraj ektorie 
. und die Bet&tigung eines Oder menrerer an dem 
Interaktionsgerat 125 angeordneten Taster 195. 
Zusatzlich urofaSt sein konnen akustiscne Aktionen des 
Benutzers wie bspw. eine Spracheingabe oder sine durch 
Gestik bestimmte Aktion. . 

in den Figuren 2a - 2c sind nun typiscne, bei der 
Bewegung des vorbeschriebenen Interaktionsgerats 12S 
% sicb ergebende Ranmtra j ektoren '2'00 dargestellt. Bs ist 
hervorzuneben, daS-in den Figuren 2a - 2c zu 
vereinfachungszwecken nur ein zweiditnensionaler Scnnitt 
des eigentlicb dreidimensionalen Ansatzes gezeigt ist. 
Dabei sind bspw. darzustellende Kugelscnalen zu Linien 
entartet. Die jeweilige Bewegungsricbtung entlang des 
Trajektorienverlaufs ist durclx Pfeile 203 angedeutet. 
Bs sei angenoxttmen, dafi der in dieser Darstellung nicbt 
gezeigte Benutzer 105 jeweils am Punkt 205 sowie den 
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Punkten 205', 205", 205' ' >' der ~Traj ektorie bspw. 
mittels des Tasters 195 dem VR-Graphiksystem (Fig. 1) 
signalisiert, daS ein Initialraumpunkt (IRP) 205 mit 
einem zugeordneten Ref erenzkoordinateneystem 210 
festgeiegt warden soli. Die dem IRP entsprechenden und, 
wie vorbeschrieben, mittels der Lageerf assungssensorik 
130 - 140 beetimmten Raumkoordiuaten werden dabei per 
Funk an den Digitalrecbner 150 Permit telt . Fortan 
werden die weiteren I>unkte auf der Trajektorie 200 in 
Relation zu diesem IRP, quasi in neuen 
Relativkoordinaten, berechnet. 

Gleichzeitig mit der Festlegung des 

Referenzkoordinatensystems 210 werden zwei urn den IRP 
205 angeordnete Schalen berechnet, und zwar eine innere 
Schale 215 mit entsprechenden Schalensegmenten 217 
sowie eine zueammenh&ngende, d.h. nicht in solche 
Schalensegmente unterteilte aufcere Schale 220. Es ist 
hervorzuheben, da£ die gezeigten Schalen * im technischen 
Sinne nur Hilfsmittel bei der * Berechnung der genannten 
Schwellwerte bzw. bei der Berechnung bzw. Erf as sung, des 
Uberschreiten dieser Schwellwerte durch die 
Raumtrajektorie des Interaktionsgerats 125 darstellen 
und diese Schalen daher in der Szene visuell nicbt in 
Erscheinung treten. Die innere Schale 215 definiert den 
eingangs genannten ersten Schwellwert, wohingegeh die 
aufcere Schale den genannten zwei ten Schwellwert 
reprasentiert , 
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Die genaimten Scbalensegmente 217 der inneren Scbale 
215 dienen dazu, da£ bei ihrem DurchstoSen von der 
Trajektorie 200 automat isch Aktionen bevorzugt ih einem. 
Menusystem einer in der gegenw&rtigen Szene 
visualisierteri BenutzungsoberflSche ausgel6st werden, 
und zwar Aktionen wie das 6f fnen eines neuen 
MentipunkteB oder die Selektion einer Funktion oder 
eines Funktionsmodus aus einer Vielzabl angebotener 
Fuziktionen bzw. Funktionsmodi . Als Menttsystetn kotnmen 
grds. alle bekannten und denkbaren Erscheinungsf ormen 
in Betracbt, wie bspw. kugel- oder ellipsoid-baeierte 
Mentis, wttrfel- oder quader-basierte Menus oder flack 
ausgebildete . transparent e Textmenus-. Die genaue 
Funktionsweise solcber Mendsysteme zur Selektion von 
Funktionsmodi oder dgl . ist in den beiden eingangs 
genarinten Druckschrif ten ausfuhrlicb beschrieben und 
daber werden diese Daruckschrif ten in dem vorliegenden 
Zusammenhang insoweit vollumf Snglicb in Besug genommen. 

Der in der Fig. 2a gezeigte Trajektorienverlauf 
entspricbt einem szenario, bei dem der Benutzer w&brend 
der Bewegung des Interaktionsgerats 125 den Taster 195 
bet&tigfc, urn eine Menuauswabl durcbzufiibren. In diesem 
Fall bewirkt das Betatigen dee Tasters auch, dafi in die 
Szene 115 visuell ein Menusystem eingeblendet wird.' Die 
genaue Position dieser Einblendung auf dem 
Projektionsschirm 100 wird. in Abbangigkeit von der 
Blickrichtung (BR) 190 und/oder der Kopfposition (KP) 
des Benutzers 105 festgelegt. Dabei kann vorgeseben 
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eein, da£ die Blickriclxtung (BR) und/oder die 
Kopfposition (KP) kontinuierlich oder zeifcweilig 
erf asst wird und daS die genaue Position, an der das 
Menusystem oder das Funktionsauswahlsystem eingeblendet , 
wird, in Abhangigkeit von der erfassten Blickrichtung 
(BR) und/oder der • erf assten Kopfposition (KP) besfcittimt 
wird. - , . 

In dem vorliegenden Ausfubcrungsbeispiel handelt es sicli 
aus Symmetriegrunden . (Kugelsymmetrie der oben 
beschriebenen Schalen) ebenfalls bevorzugt um ein 
kugelsymmetriscbes Menusystem wie bspw. ein Kugelmenu, . 
Es versteht sich, daS die in den Figuren 2a - 2c 
gezeigten Kugelschalen nur beispielhaf t sind und auch . 
durcb wurfelformige, quaderformige oder ellipsoids 
Schalen gebildet sein konnen. So.bieten sicb kubiscti- 
synimetrische Schalenf ormen bspw. bei ebenfalls kubiscla- 
symraetrieciien (wttrf elf ormigen, quaderf drmigen oder 
text formi gen) Menusystemen an. 

Die in der Fig. 2a gezeigte Trajektorie 200 durchstSBt 
die inner© Schale 21B zum ersten Mai im Bereich eines 
ersten Kugelecbalensegments 2ia. Dadurcb wird eine 
erste Men&- oder Funktionsauswahl ausgelost. Die , 
Trajektorie 200 tritt danach in Hobe dieses Segments 
218 wieder in den Innenbereicb der Schale 215 ein, um 
diese in H6be eines zweiten' Kugelschalensegments 222 
erneut zu durcbstofien und damit eine weitere 
Funktionsauswabl .auszuiosen. Auf den weiteren durcb 
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Punkte angedeuteten Verlauf der Trajektorie 200 kommt 
es vorliegend. nicht tnehr an. 

Es verateht eich, daS die in den Figuren 2a - 2c 
gezeigten Scliwellwertf lachen in der einf achsten 
Ausgestaltung auch durch skalare schwellwerte gebildet 
sein konnen, bspw. im Falle eines kubischen 
Referenzkoordinafcensys terns anstelle des" hier gezeigten 
kugelf ttrmigen Koordinatensystems , wobei in jeder der 
drei Raumricbtungen nur eih einziger skalarer 
Schwellwert festgelegt warden imi£. 

In der Fig. 2b ist ein Traj ektorieriverlauf dargestellt, 
bei dem die Trajektorie 200 nach der Festlegung des IRF 
205 zunacbet die inner e Scbale 215 im Bereich eines 
Kugelschalensegments 219 durchstofct, wodurcb wiederum 
eine Funktionsauswahl oder dgl. ausgelost wird, Xm 
Unterscbied zur Fig. 2a durchstofet die Trajektorie im 
AnscbluE daran auch. die &u£ere Schale, und zwar in dem 
gezeigten Punkt 225. Dieses DurcbstoSen der &u£eren 
Scbale bewirkt. das bereits genannte automatiscbe 
Nacbfuhren des Ref erenzkoordinatensystems 210, wobei in 
detn vorliegenden Ausf-Ghrongsbeispiel der XRP 205 zum 
genannten DurchstoSpunkt^ d.b. vorliegend zutn Punkt 
225, verscboben wird. 

In einer altemativen Ausgestaltung f olgt der IPR 
inkrementell (d.b. in inkrementell Scbritten bsw. 
nabezu sukzessive) der Trajektorie, wobei entweder die 
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aufiere Scheie zu einer Schale mit einem geringeren 
Durchmesser al£ die innere Schale entartet ist oder 
wobei der IPR ah dem genannten Durc^stoSpunkt 225 der 
weiterfuhrenden Trajektorie jeweils inkrementell folgt, 
Wie bereits gesagt, weist die &uSere Schale keine 
Segment ierung auf , da durch sie keine 
benutzungsspesif ischen Ereignisse ausgeldst werden 
sollen, sondera ledigiich das genannte Nachfuhren dee 
gesamten Referenzkoordinatensys terns 210. 

• Anhand der Fig* 2c soli schlie£lich illvstriert werden, 
was geschieht, weixn das Interaktionsger§.t 125 nach 
einer bereits erfolgten Festlegung einee IRP 205 uber 
einen l&ngeren Weg' bewegt wird, bspw. dadurch bedingt, 
daS s±ch der Benutzer nach einer bereits erfolgten 
Aktivierung einee MenG.systems vor dem Projektionsschirm 
100 uber einen grofieren Weg bewegt. Wie aus der 
vorhergehenden Beschreibung folgt, bewirkt das 
wiederholte Verlassen der SuSeren Schale 220 ein 
wiederholtes , in dem vorliegenden Ausf-Qhrungsbeispiel 
dreimaliges Wachftihren des IRP 205, jeweils 
resultierend in iRPe 205', 205' ' und 205'/ ' bzw. des 
diesem zugeordneten Ref erenzkoordinatensysteme 210 , 
jeweils resultierend in entsprechend verschobenen 
vorliegend geetrichelt dargestellten 
Referenzkoordinatensystemen 210' , 210'' urid 210''', 

Es ist anzumerken, daS die in den Figuren 2a - 2c* 
geze'igte physische Raumfcraj ektorie verallgemeinernd 

l 



VXG3 Nr: 290890 von NVS:FAXG3.!0.0201/0715273121 an NVS:PRINTER.0101/LEXMARK2450 (Seite 20 von 36) 
atum 19.09.03 17;22 - Status: Server MRSDPAM02 (MRS 4.00) ubemahm Sendeauftrag 
streff: 36 Seite(n) empfangen 



19/09 '03 17:29 FAX +4H 



entweder durch eine reine Translationsbewegung oder 

eine reine Rotationsbewegung dee InteraktionsgerS.ts 125 

repr&seiitiert oder aber durch. eine Kombinatiou , dieser 

beiden Bewegungsarten reprasentiert aein kann. Im Falle 

von solchen Rotatioasbewegungen 'des Interaktionsger&ts 

zur Ausl6sung bestimmter Inter,aktibnen mit einem 

vorbeschriebenen Mentteystem oder zur Manipulation von 

virtuellen Objekten der Szene 115 kann zusatzlich 

vorgesehen sein, da£ die Interaktion erst dann 

ausgelost wird, warm wenigstens eine zweite 

Interaktion, insbesondere mittels des Steuerelementes , 

ausgel6st worden ist . Hierdurch wird in vorteilhaf ter . 

Weise verhindert, dafi bereits eine kleine | 

moglicherweise unerwtirLS elite Drehung des j 

Interaktionegerats 125 eine Interaktion ausl6st. Zudem j 

wird ermoglicht, da£ Drehungen dee rnteraktionegerats 

125 wieder rvlckgangig gemacht werden konnen, ohne : 

bereits eine Interaktion in dem VR-Graphiksystem ! 

attsgelosfc zu haben. 

Die ''Pig. 3 zeigt nun ein Ausffihrungsbei spiel einer 

erf indungsgem&fien Routine zur Auswertung des raumlicben 

Verlaufs einer wie, in den Figuren 2a - 2c angenommeneri j 

Traj ektorie . Nach detn Start 300 der Routine, der 

bevorzugt durch das Einschalten des VR-Graphiksys terns 

oder durch eine etwa nachfolgende Aktivierung des J 

Interaktionsger&ts .125 ausgelost wird, befindet sick j 

die Routine zun&chst in einer Warteschleife, in der J 

kontinuierlieh oder zeitweilig abgefragt wird 305, ob ' J 

K 

I 
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der Benutzer eine mteraktion ausgefuhrt hat, m an der 
. m omentanen Raumposition des Interaktionsgerats ggfi. 
einen vorbeschriebenen initialraumpunkt IRP 205 
festzulegen. Dies* „initiale» mteraktion erfolgt 
bevorzugt raittels des vorbeschriebenen' Tasters 195, 
kann allerdinga auch in der eingangs beschriebenen 
Weise durch sprache, Gestik oder dgl. erfolgen. . 

Wird eine solche initiale mteraktion f estgestellt, 
wird in Schritt 310 zunachst das genannte 
Refierenzkoordinatensystem 210 bestimmt, wobei der 
Koordiuatenursprung durch den IRP 205 gebildet wird. In 
. anschliefienden Schritten 315 und 320 werden in dem 
Referenzkoordinatensystem 210 die Referenzpunkte oder 
Referenzflachensegmente 217 der genannten ersten 
Schwelle 215 sowie die zwaite Scbwellenf lache 220 
bestimmt. 

An die genannten Schritte schlieSt sich wieder. eine 
Schleife an, in der zunachst die aktuelle Position des 
Interaktionsgerats 125 erfaSt wird 325 : Danach wird 
geprilft 330,. ob der erfaSte Wert der aktuellen Position 
auSerhalb des genannten ersten schwellenwerts bzw. des 
wertes des vorliegenden Ref erecz'f lachensegments 217 
liegt, 1st diese Bedingung 330 nicht erf Gilt, dann 
springt die Routine zurftek zu Schritt 325, urn einen 
neuen aktuellen Positionswert des interaktionsgerats 
X25 zu erfassen. 1st die Bedingung 33 0 allerdings 
erfttllt, dann hat die Trajektorie die erste 
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Schwellenflache 215 durchatoSen. In diesem Fall wird 
zunachst noch. gepruft 335, welcher Ref erenzpunkt bzw, 
welches Ref erenzf lacheneegtnent, in dem 
Ref erestizkoordinatensystem davon betroffen ist, In 
Abh&ngigkeit von dem Ergebnis der let z ten Priifung 335 
. wird dazra die entsprechende Funktions- oder MenOauswahl. 
ausgelost 340 . 

In dem besonderen Fall f dafi die aussgel6ste Funktion 
eine die gesamte Routine beendende . Funktion ist, was in 
Schritt 342 zusatzlich gepruft wird, wird zu Schritt 
343 gesprungen,. in dem die Routine rtgmn beendet wird. 

In dem Fall, dafi die Trajektorie die erste 
Schwellenfl&che 215 tateSchlich durehstofien hat, wird 
weiter geprOft 345, ob die Trajektorie bereits auch die 
zweite.SchwellenflS.che 220 durchstofien hat. D.h. es 
wird auch bier gepruft 345, ob der Wert der aktuellen 
Position des Interaktionsger&ts 125 in den vorliegenden 
Referenzkoordinaten batragsmafcig den Wert der zweiten 
.Schwelle tiberschreitet. 1st diese Bedingung' nicht 
erfullt, daxm wird wieder zu Schritt 325 
zuriickgesprungen und ein neuer Positionewert des 
interaktionsgerats 125 erfafit. Anderafalis wird . das ■ 
Referenzkoordinatensystem bzw. dessen.tnit dem IRP 205 
zusammenfallender Urspung 350 nachgefiihrt bzw. an die 
derzeitige Position der Trajektorie des 
interaktionsgerats 125 ggf . intorementell verechoben. 
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Es i.t scttLiefclicb ^erfceri, da* das vorbescbriebene 
Konzept des initialed Raumpunktes .(BP) 9**-. aucb 
Benutzungsschnittstellen umfiafit, bei denen die 
Interaktion mittele einer reinen Rotation dee 
Xnteraktionsgerats 125 odex einer Konfcination aus einer 
reinen Translation und einer reinen Rotation.erfolgt . 
Xm Fall© einer Rotation kann der XRP ale initialer 
Raumwinkel q> .= 0° * iaes gedacbten Kugel- Oder 
Zylinderkoordinatensysteius verstanden werden.. Dabei 
kdnnen die bescbriebenen beiden Schwellwerte dure* 
diskrete Winkei wie'bspw. <p = 90" bzw. <p = 180° 
, gebildet sein, wobei dann bei einer. tWscfcreitung von 
q> = 180° das genannte Koordinatensystem bspw. um den 
winkei <f> = 180° nachgefuhrt wird. 
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Patentan spruche 

x , • Verf abren zur Steuerung einee Graphiksystems der 
virtuellen Realit&t (VR) mittels Xnteraktionen, 
wobei das VR-Graphiksystem eine 
Projektionseiiiricbtung zur Visualisierung 
virtuell-raumlicher Szenen aufweist und wobei die, 
Interaktionen mit dem VR-Graphiksystem mittels 
wenigstene eines Xnteraktionsger&ts erfolgen, 
welches zur Erfassung der jeweiligen Position 
und/oder Orientierung des Xnteraktionsgerats auf 
einer physisclien Raumtra j ektor ie und zur Erzeugung 
von entsprechenden Lagedaten und zur ffcermittlung 
dieser Lagedaten an eine Lageerfassungseinrichtung 
das VR-Graphikeystems dient, dadurch. . 
gekennaeichnet, dafl ein initialer Raurnpurikt auf 
der physischen Raumtra j ektor ie des 
Interaktionsger&te .festgelegt wird und dafi eine 
Answer tung. wenigstens einer nadhf olgenden 
Interaktion relativ zu dem festgelegten initialen 
Raumpunkt erfolgt. t 

2. Verfahren nach Ansprucli 1, dadurch gekermzeichnet, 
da£ mittels des initialen Raumpuhktes 
Ref erenzkoordinaten .festgelegt werden, wobei die 
Auswertxing der wenigstens einen naciif olgenden 
Interaktion relativ zu diesen Ref erenzkoordinaten 
erfolgt . 
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Verfahren nach Anepruch 1 oder 2, dadurch . 

gekennzeichnet, da£ mittels des initialen 

Raumpunktes und/oder tnitfcele der 

Referenzkoordinaten wenigstens ein Schwellwert 
oder eine erste schwellwertf lache gebildet wird, 
bei dessen' oder deren Uberschreitung durch die 
pbysische Raumtraj ektorie wenigstens eine Aktion- 
Oder Funktion des VR-Graphiksystems ausgelost 
wird. 

4, . Verfahren nach Anspruch 3, dadurch gekennzeichnet, 
daS die erste schwellwertf lache wenigstenB zwei 
. unterschiedliche Schwellenwerte definiert, mittels 
derer eine Gewiehtung be,i der Auelosung der 
wenigstens. einen Aktion oder Funktion dee VR- 
Graphiksystems erfolgt. 

» 

5. verfahren nach Anspruch 3 oder 4, dadurch 

gekennzeichnet, daS die erste Schwellwertf lache 
durch einen symmetrischen Raumkorper, insbesondere 
. eine Kugel, einen Ellipsoid, einen Wurfel,, einen 
Ouader oder dgl. gebildet wird. 

S. verfahren nach einero der Anspruche 1 bis 5, 

dadurch gekennzeichnet, dafi mittels des initialen 
Raumpunktes und/ oder der Referenzkoordinaten 
wenigstens eine zweite Schwellwertf lache gebildet 
wird, deren Wert im Wesentlienen grdSer als der 
wert der ersten schwellwertf lache, bei deren . 
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7. 





iiberschreitung durch die physische Raumtraj ektorie 
eine Verschiebung des Nullpunktes ■ der 
Kef erenzkoordinaten in Richtung der 
Raumtraj ektorie ausgelost wird. 

verfahren nach einem der vorhergehenden Anspzuche, 
* dadurch gekennzeichnet. dafi die Festlegung des 
initialen Reumpunktee ndttels einer ersten 
Interaktion erfolgt. 

8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, 
dafi die erste interaktion mittels des 
Interaktionsgerafcs , insbesondere mittels eines an 
dem Interaktioasgerat angeordneten Steuerelements , 
oder mittels einer akustischen, sprachlichen oder 
gestischen Interaktion seitens eines Benutzers 
erfolgt. 

9. Verfahren nach einem der vorhergehenden Anspruche 
zur Anwendung in einem wenigstens ein raumlich- 
virtuelles Menusystem oder Funktionsauswahlsystem 
aufweisenden VR-Graphiksystem, dadurcb 
gekennzeichnet, daS die wenigstens eine 

nachf olgende Interaktion zur Steuerung des 
Menttsystems oder des Funktionsauswahlsystems . 
dient . 

10. verfahren nach Anspruch 9, dadurcb gekennzeichnet, 
dafi das Menusystem oder das Funktionsauswahlsystem 
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auf grund der ersten Xnteraktion in Abbangxgkei* 
von der Blickrichtung und/oder der Kopfposxtxon 
eines das xnterafctxonsgerat naltenden Benutzers xn 
Bezug auf . die Pro j aktionseinricntung in die 
virtmelle Saene eingeblendet wird, dafc die 
Blickrichtung. und/oder die Reposition 
. *ontinuierlich oder zeitweilig erfasst wird ode, 
werden und dafi die Position an der 
p roj ektionseinricntung, an der das Menusystem oder 
a*s F^nktionsauswanlsyste™ eingeblendet wird oder 
werden, in Abhangigkeit von der erfassten . 
Biickricbtung und/oder d*r erfassten Kopfposi.txon 
toestimmt wird- 

verfanren nach flnsprucn 9 oder 10, . dadurch 
gekennzeichnet, dafi eine durcn eine 
Rotationsbewegung d». xnteraktionsgerats zu 
• bewirkende Aktion oder Function erst dann 
ausgeloat wird, wenn wenigstens eine swea-te 
interaktion, insbesondere mittels dee 
Stenerelementes, ausgefuhrt wird. 

.eines Grapbiksystems der virtuellen Kealxt*t (V*> 
mitt. Is m t era k tionen; wobei das VK-Grapbikeystem 
eine Pfojektionseinricntung zur visualisierung. 
virtuell-rauiulicner Szenen aufweist. und wobei dxe 
Xnteraktionen mit dam Vft-Graphiksystem mittels 
wenigstens eines Xnteraktionsgerats erfolgen. 
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welches zur Brfassung der jeweiligen Position 
und/oder Orientierung des Interaktionegerats auf 
einer physischen Raumtraj ektorie und zur Erzeugung . 
von entsprechenden Lagedaten und zur Ubermittlung 
dieser Lagedaten an eine Lageerfassungseinrichtung 
* dae VR-Graphiksys terns dient, gekennzeichnet durch 
.Mittel zur . Erzeugrog eines initialen Raumpunktea 
auf der physischen Raumtraj ektorie des 
Interaktionsgerats und zur- AuBwertung wenigstens 
einer nachfolgenden Interaktion relativ zu dem 
festgelegten initialen Raumpunkt. 

13. Benutzungsschnittatelle nach Anspruch 12, 
gekennzeichnet durch Mittel ztxr Berechnung von 
virtuellen Ref erenzkoordinaten in Abhangigkeit des 
initialen Raumpunktes und zur Auswertung der 
wenigstens einen nachfolgenden Interaktion relativ 
zu diesen Ref erenzkoordinaten, 

14. Benutzungsschnittstelle nach Anspruch 13 , 
gekennzeichnet durch Mittel zur Berechnung 

- wenigstens eines Schwellwerts oder einer ersten 
Schwellwertf lache in Abhangigkeit von den 
Ref erenzkoordinaten und Mittel zur Ausloewig einer 
Aktion oder Funktion des VR-Graphiksystems bei 
einer Uberschreitung des Schwellwerts oder der 
ereten Schwellwertf lache durch die physische 
Raumtraj ektorie. 
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15.' Benutzungsschnittietelle nacb einem der Aixspruche 
12 bis 14, gekennzeicbnet dureb Mittel zur 
Berecbnung wenigstene einer zweiten 
Schwellwertflache in Abbangigkeit von den 
Referenskoordinaten, deren Wert im Wesentlichen 
grofier ale der Wert der ereten scbwellwertf lache, 
sowie Mitteln zur Verechiebung des Nullpuiiktes der 
Kef erenzkoordinateix in Ricbtung der 
Raumtrajektorie bei einer Clberschreitung der 
zweiten Scbwellwertflacbe durcb die physiscbe 
Haumtfaj ektorie 

.IS. Grapbiksystem der virtuellen Realicat (VR) 
arbeitend na'cb dem Verf abren nacb einem der 
Ansprucbe 1 bis 11 W/oder aufweisend eine 
Benutzungsschnittstelle- nacb einem der Ansprucbe 
12 bis 15. . 
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20707DE/J/mii 
19.09.2003 

3TC1DO Gm bH, JttraBt rafie 6. P-,70565 Stuttgart: 

yerfahren und Vorrichtung zur Stenenrna eajn.es 
GraphikByBfcgmB_der viirtn ellen Re ali tat mitt els 
Xii^ralcfripncpn, 

' • 1 

gusamtrenf fig swig 

Bei einem Verf ahren und einer Vorrichtung zur Steuerung 
eines Graphiksystetns der virtuellen Realitat (VR) 

i 

mittels Interaktionen,' wobei das VR-Graphiksystem eine 
, Projektionseinriehtung zur Visualisierung virtuell- 

raumlicher Szenen aufweist und wobei die Inter aktionen 
mit dem VR-Graphiksystem mittels- wenigstens eines 

Interaktionsgerats erfolgen, welch.es zur Erfassung der j 

•i 

jeweiligen Position und/ oder Orientierung des 
Interaktionsger&ts auf einer physischen Raumtrajektorie 
und zur Brzeugung von entsprechenden Xiagedaten und zur 
Ubermittlung dieser l»agedaten an eine ^ 
Lageerfaasungseinrichtung das VR-Graphiksy stems dieiit, I 
ist insbesondere vorgesehen, da£ ein initialer 
Raumpunkt auf der physischen Raumtrajektorie des 
Interaktionsgerats festgelegt wird und da& eine 




i 
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Auswerfcung wenigetens eiaer nachf olgenden interaction 
relativ zu dem festgelegten iriitialen Raumpurikt 
erf olgt . 

(Fig. 2a) - 




i 
l 

! 
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